#offline RL

4 篇

Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning

反馈操纵正则化：实现离线模仿学习 Agent 对齐

🧭 离线 Agent 对齐 · 模仿学习正则化

University of North Carolina at Charlotte

将评估反馈作为纠正信号融入模仿学习，在序列决策环境中实现离线对齐，最多减少 98% 未对齐行为

📌 工作参考价值（4 点）

在离线推荐策略学习中，可将用户行为序列视为演示，将显式反馈（如评分、停留时长）作为纠正信号，通过类似 FMR 的正则项微调模仿学习模型，提升策略与真实偏好的对齐度。
FMR 的算法无关设计可作为插件直接嵌入现有离线 RL 推荐框架，无需改动原算法结构，降低工程落地门槛。
论文在有限数据和噪声演示下的鲁棒性结果，对稀疏反馈或冷启动推荐场景有借鉴意义，可尝试在数据匮乏时引入反馈正则化稳定训练。
Safety Gymnasium 中定义的对齐评估指标（如约束违反率）可启发推荐系统设计安全约束，避免推荐内容越界（如低质、违规内容），在 Agent 辅助的对话推荐中尤为重要。

Agent | 2026-07-08 | cs.HC | score 6/10

离线强化学习泛化：悲观结构比悲观程度更重要

🧭 离线RL泛化 · 悲观结构对称性

Delft University of Technology

在上下文MDP中，悲观结构的对称性而非悲观程度，决定了离线RL最优泛化；建议用策略提取一致性增强。

📌 工作参考价值（4 点）

Agent | 2026-07-02 | cs.LG | score 6/10

轨迹级监督下高效离线 RL 的统计条件

🧭 离线强化学习 · 轨迹级反馈理论

University of Wisconsin-Madison

提出 OPAC 算法，证明仅用轨迹级标量标签可实现样本高效离线策略优化，并刻画泛化结果监督的可处理条件

📌 工作参考价值（4 点）

在序列推荐或对话 Agent 中，若只有会话结束时的整体转化/点击等标量标签，可借鉴 OPAC 的悲观演员-评论家框架：先学习潜在步奖励模型，再用悲观值函数优化策略，避免盲目分配奖励导致的分布偏移恶化。
论文定义的泛化结果监督场景（如偏好、全成功目标）与推荐系统从会话级指标（如转化率、净推荐值）逆向学习策略高度对应，可通过结构系数 κ_μ(σ) 和 χ_μ(σ) 评估任务的信息损失，指导选择可处理的奖励聚合形式。
离线策略优化的悲观原则（Pessimism）在业务中已有应用，本文的理论保证（O(H^2√(C_sa/n))）为使用轨迹级反馈替代过程奖励提供了样本复杂度的量化依据，可在实验设计时预估所需数据量。
当结果标签与优化目标不一致时（如用点击率作为代理目标学习收益最大的策略），警惕指数级样本需求（Ω(2^H)）的陷阱，需通过线性近似或引入过程信号避免不可学习问题。

Other | 2026-06-15 | HF Daily | score 6/10

自进化 LLM 智能体与分布内优化

🧭 LLM Agent 自进化训练 · 离线强化学习 ★ 深度解读

Eindhoven University of Technology · University of Liverpool · MIT-IBM Watson AI Lab

提出 Q-Evolve，通过混合离线数据的加权 IQL 与 GAE 自动生成过程奖励，结合行为近端策略优化实现 LLM 智能体的稳定自进化

📌 工作参考价值（4 点）

在电商客服 / 导购等长程对话 Agent 中，可采用混合离线数据（专家对话 + 自身探索记录）训练价值函数，通过 GAE 从稀疏成功信号自动生成步骤级奖励，省去人工标注过程标签。
借鉴加权 IQL 技巧：对成功轨迹、更靠近终端步的样本赋予更高权重，能有效稳定稀疏奖励下的价值学习，可迁移至点击率预估延迟转化等类似信用分配问题。
使用行为近端策略优化（BPPO）结合非对称裁剪（对负优势动作允许更大抑制），可在离线数据上安全地优化策略，防止灾难性遗忘和分布偏移，适用于线上策略迭代。
自进化循环模式（收集新经验 → 与专家数据混合 → 重新训练价值网络 → 重新计算奖励 → 更新策略）可应用于推荐系统的用户建模迭代，让模型在有限探索成本下持续提升。

Agent | 2026-06-05 | cs.LG | score 8/10